Ngày 4 tháng 11 năm 1995 (thứ 11 của Heshvan theo Lịch Hebrew) Thủ tướng Rabin đã bị Yigal Amir, một người Do Thái Chính thống cực đoan cánh hữu phản đối việc ký kết Hiệp định Oslo ám sát, anh ta tin rằng mình đang phục vụ quốc gia với một số phận thảm khốc. Vụ ám sát diễn ra vào buổi tối khi Rabin đang rời một cuộc vận động quần chúng ở Tel Aviv kêu gọi ủng hộ Hiệp định Oslo. Rabin được nhanh chóng đưa tới Bệnh viện Ichilov ở gần đó, nơi ông đã chết trên bàn mổ vì mất máu và thủng phổi trong vòng 40 phút. Amir lập tức bị các vệ sĩ của Rabin bắt giữ. Anh ta bị đem ra xét xử và bị kết án chung thân.

Sau một cuộc họp khẩn cấp của nội các, Bộ trưởng Ngoại giao Israel, Shimon Peres được chỉ định làm Thủ tướng Israel.[18]

Vụ ám sát Rabin là một chấn động lớn với công chúng Israel và hầu hết phần còn lại của thế giới. Hàng trăm nghìn người Israel buồn bã tụ tập tại quảng trường nơi Rabin bị ám sát để tưởng niệm ông. Rất đông thanh niên, thắp lên những ngọn nến tưởng niệm và hát những bài hát hoà bình. Lễ tang của Rabin có sự tham dự của nhiều nhà lãnh đạo trên thế giới, trong số đó có tổng thống Hoa Kỳ Bill Clinton, tổng thống Ai Cập Hosni Mubarak và Vua Hussein của Jordan. Bill Clinton đã đọc bài điếu văn với những lời đáng nhớ trong tiếng Hebrew — "Shalom, Haver" (tiếng Hebrew: שלום חבר‎, dịch nghĩa Tạm biệt, Bạn).[19][20]

Trước khi rời sân khấu vào đêm diễn ra vụ ám sát, Rabin đã hát Shir LaShalom (dịch nghĩa Bài hát vì Hoà bình), cùng với ca sĩ người Israel Miri Aloni. Sau khi ông chết, một tờ giấy với lời bài hát đã được tìm thấy trong túi ông, nhuốm máu.

Quảng trường nơi ông bị ám sát, Kikar Malkhei Yisrael (Những vị vua của Quảng trường Israel), đã được đổi tên thành Quảng trường Rabin. Những đường phố và cơ quan công cộng đã được đặt tên theo tên ông trên khắp nước. Sau vụ ám sát ông, Rabin được coi như một biểu tượng quốc gia và là người đại diện của phe hoà bình Israel, dù ông đã có một sự nghiệp quân sự và những quan điểm diều hâu trước đó.[21] Ông được chôn cất tại Núi Herzl. Tháng 11 năm 2000, vợ ông Leah qua đời và được chôn cất bên cạnh ông.

Như với nhiều vụ ám sát chính trị, có nhiều cuộc tranh luận liên quan tới buối cảnh vụ ám sát Rabin. Có một số giả thuyết âm mưu liên quan tới vụ ám sát Rabin.

Sau vụ ám sát Rabin, con gái ông Dalia Rabin-Pelossof đã tham gia chính trường và được bầu vào Knesset năm 1999 như một thành viên của Đảng Trung dung. Năm 2001, bà là Người đại diện của Bộ trưởng Quốc phòng.